Обзор курса: Неопределённость в эпоху генеративного ИИ

Занятие 5 знаменует ключевой поворот в COMP5511. Мы уходим от детерминированной логики классических вычислений и контролируемой определённости ранних моделей классификации к вероятностному сердцу генеративного ИИ. В этом занятии мы разберём, почему современные ИИ-модели выдают не «факты», а распределения вероятностей, раскрывая механизмы, которые позволяют большим языковым моделям писать стихи, а диффузионным моделям — создавать изображения из шума.

1. Смена парадигмы: от логики к вероятности

• За пределами ЕСЛИ-ТО: переход от жёстких правил к гибким статистическим вероятностям.
• Конец определённости: понимание того, почему результаты генеративного ИИ недетерминированы по своей природе.
• Вероятность как инструмент: как «эпоха генеративного ИИ» рассматривает неопределённость как преимущество для творчества, а не как ошибку, которую нужно исправить.

2. Вероятностные движки созидания

Генеративный ИИ основан на сэмплировании из многомерных вероятностных пространств. Будь то генерация текста или изображений, модель ориентируется в неопределённости, чтобы создавать новое:

• Большие языковые модели (LLM): предсказание следующего токена не как единственного выбора, а как распределения возможностей.
• Диффузионные модели: искусство восстановления порядка из хаотичного гауссова шума.
• Процесс сэмплирования: как случайность используется для предотвращения повторяющихся и «роботизированных» результатов.

3. Агенты в непредсказуемых мирах

Автономные агенты должны ориентироваться в «открытых мирах», где каждое действие несёт в себе определённую долю неизвестного риска и вознаграждения.